Esboço do fluxo de trabalho de produção dos códigos

1 ESBOÇO FLUXO DE TRABALHO DO PRODUTO 2 - CÓDIGOS

1.1 PARTE I – Cuidados antes de começar a rodar os códigos no R

Pensar quais orientações são mais gerais e quais são importantes de acompanhar cada código.

1.1.1 Rstudio/Pacotes/versões/sistemas operacionais

Sobre os pacotes, seria bom ter uma listinha de ‘library’ no início de cada código? Talvez com uma breve explicação do que cada pacote faz, versão mínima… não sei.

OBS: essa tabela é uma referência para obtermos as versões dos pacotes ao final do desenvolvimento do script. Ela está automatizada, então quando terminarmos ele precisamos refaze-lo de forma que não gere mais mudança nas versões (tem que fazer a tabela na mão mesmo…).

# carregar pacote para formatar tabela
library(flextable)

# gerar informações sobre os pacotes carregados
info <- sessionInfo()

# gerar tabela com os pacotes e versões
tibble::tribble(
  ~Pacotes,                         ~Versão,
  version$language,                 version$version.string,
  info$otherPkgs$dplyr$Package,     info$otherPkgs$dplyr$Version,
  info$otherPkgs$Distance$Package,  info$otherPkgs$Distance$Version,
  info$otherPkgs$DT$Package,        info$otherPkgs$DT$Version,
  info$otherPkgs$flextable$Package, info$otherPkgs$flextable$Version,
  info$otherPkgs$plotly$Package,    info$otherPkgs$plotly$Version,
  info$otherPkgs$readr$Package,     info$otherPkgs$readr$Version,
  info$otherPkgs$tibble$Package,    info$otherPkgs$tibble$Version,
  info$otherPkgs$tidyr$Package,     info$otherPkgs$tidyr$Version,
) |> 
  qflextable() |> 
  set_caption(
    "Tabela xx = configuração de pacotes necessários e respectivas versões mínimas que devem ser utilizadas para reproduzir os códigos"
  )

Tabela xx = configuração de pacotes necessários e respectivas versões mínimas que devem ser utilizadas para reproduzir os códigos

Pacotes	Versão
R	R version 4.2.3 (2023-03-15)
dplyr	1.1.1
Distance	1.0.7
DT	0.27
flextable	0.9.1
plotly	4.10.1
readr	2.1.4
tibble	3.2.1
tidyr	1.3.0

NA
NA

1.1.2 Cuidados com a planilha .xlsx que será importada (para que mantenha o padrão da planilha de referência do ICMBio)

Algumas funções foram escritas para funcionar tomando como base de dados de referência a planilha em formato excel Planilha Oficial consolidada de Masto-aves 2014-21 Validada CEMAVE CPB CENAP.xlsx disponibilizada pelo Projeto Monitora. Estas funções carregam os dados e fazem uma série de transformações para devolve-los no formato padronizado do programa DISTANCE para Windows. Portanto, para garantir a reprodutibilidade dos códigos produzidos em versões atualizadas da base de dados do Monitora, é importante tomar alguns cuidados.

O primeiro e mais importante cuidado é manter os mesmos nomes das colunas em versões atualizadas da base de dados do Monitora. As primeiras funções, além de carregar os dados, aplicam uma série de transformações. Os nomes das colunas são alterados, e a essas são atribuídos tipos (data, caracter, fator , inteiro e numérico), linhas são eliminadas e novas colunas são gereadas. Para exemplificar, veja o código abaixo. Ele foi escrito para executar as primeiras transformações nos dados e constitui o corpo da função carregar_dados_filtrados().

O trecho do código que vai da linha 101 a 113 serve selecionar apenas as colunas de interesse presente nos dados originais. Note que os nomes das planilhas originais constam nesse trecho. Caso o nome de qualque uma dessas colunas seja alterado a função deixará de funcionar.

Outro aspecto importante é a presença de observações não preenchidas (ex. células vazias) nos dados originais. A função foi desenha para resolver alguns problemas presentes nos dados originais. Por exemplo, nas o trecho do código das linhas xx a xx as observações vazias (NAs) são substituidas pelo valor correto na coluna day_effort. Essa correção continnuará sendo realizada em versões atualizadas dos dados do Monitora. Porém, se outras colunas além das que estão sendo corrigidas possuirem observações vazias os dados serão carregados e transformados, porém outras funções podem ter o seu funcionamento comprometido. Por exemplo… (funções de visualização e do pacote distance que podem naõ funcionar devido a ausência de observação)

Outros cuidados…

Imaginando que a planilha de dados do monitora é algo dinâmico, que o nome das colunas pode ser editado…

1.1.3 Como abrir os arquivos: como salvar e descompactar a pasta. Abrir projeto

Um passo a passo de como salvar arquivo com os códigos e abrir.. Por exemplo, da forma como está é interessante descompactar a pasta e acessar os arquivos abrindo o projeto. Acho que isso pode mudar, dependendo de como viermos a entregar o produto final. Então podemos pensar nessa explicação no final.

1.1.4 Cuidados com diretório

Se a gente ainda precisar ter algum tipo de preocupação quanto a isso. Acho que não.

1.1.5 Como rodar cada tipo de arquivo (markdown, shiny)

Não é trivial para quem não está acostumado… usar runApp, knit… até mesmo o shift+enter para rodar as linhas de comando uma a uma

1.2 PARTE II – Carregando os dados para o R

1.2.1 Dados brutos

• todas espécies/UCs – carrega_dados_1.Rmd

# carregar pacote
library(DT)

# carregar a função
source(
  corrigir_diretorio(
  corrige = 'R/carregar_dados_completos.R'
  )
)

# carregar dados para o R
dados_completos <- carregar_dados_completos() 


dados_completos |> 
  slice(1:500) |> 
  datatable(
    filter = list(
      position = "top"
    )
  )

1.2.2 Dados filtrados

• por espécie/UC – carrega_dados_2.Rmd até o momento usado com o exemplo da cutia na Resex Tapajós-Arapiuns

1.3 Parte III – Transformando dados para Distance

1.3.1 Dados completos

• todas espécies/UCs – transforma_para_distanceR.Rmd

1.3.2 Dados selecionados

Sistematizar os critérios utilizados para eliminar observações (linhas).

• espécies validadas
• …

1.4 Quantas observações foram validadas para quais níveis taxonômicos?

n_sp_validada <- dados_completos |> 
  count(validation)

Foram selecionadas apenas as observações validadas ao nível de espécie, somando um total 20790 observações.

1.4.1 PARTE IV – Explorando os dados

1.4.2 Selecionando os melhores modelos de estudo de acordo com os dados

Critŕios:

• espécies com maior volume de dados total
• maior volume de dados por UC – exploração_01.nb.html (acho que o .Rmd para gerar esse html não está na pasta Monitora). Eu tinha gostado bastante desse documento, com as tabelas dinâmicas. Talvez dê para selecionar as perguntas que são válidas de deixar/ tirar/ incluir.

WWF - Projeto Monitora

1.4.2.1 Exploração de dados

1.4.2.2 Informações básicas

1.4.2.3 Quantas unidades de conservação ao todo?

source(
  corrigir_diretorio(
    corrige = "R/contar_UCs.R"
  )
)

n_ucs <- contar_UCs(
  dados_selecionados
)

Os dados são provenientes de 40 unidades de conservação ao todo.

1.4.2.4 Quantas espécies ao todo?

source(
  corrigir_diretorio(
    corrige = "R/contar_sp.R"
  )
)

n_sp <- contar_sp(
  dados_completos
)

Foram coletados dados para 209 espécies.

1.4.2.5 Quantas observações por unidade de conservação ao todo?

As UC’s foram filtradas de acordo com o número de observações permitir a visualização.

A função de contagem de UC’s gerou 40 UC’s, mas só há observações para 38. Lembrar de verificar isso.

Adicionar o nome completo da UC na caixa interativa do gráfico. Identificar os plotes com subtítulos ex tentar adicionar título aos plotes

Tabela interativa com os dados completos de contagem de observações por UC.

dados_selecionados  |>  
  dplyr::count(uc_name, uc_name_abv) |> 
  DT::datatable(filter = list(position = "top"))

1.4.2.6 Quantas observações para cada espécie?

Tabela interativa para consulta do número de observações por espécie.

dados1 |>  
  dplyr::filter(validacao == "E") |> 
  dplyr::count(especie) |> 
  DT::datatable(filter = list(position = "top"))

1.4.2.7 Quais e quantas observações para cada espécie por unidades de conservação?

Tabela interativa para consulta do número de observações por espécie e por UC.

dados1 |>  
  dplyr::filter(validacao == "E") |> 
  dplyr::count(ucs, especie) |> 
  DT::datatable(filter = list(position = "top"))

1.4.2.8 Quantas unidades de conservação foram amostradas em cada ano?

1.4.2.9 Quantas observações foram realizadas por UC em cada ano?

Tabela interativa para consultar quantas observações foram realizadas por ano em cada UC

dados1 |>  
  dplyr::count(ano, ucs) |> 
  DT::datatable(filter = list(position = "top"))

1.4.2.10 Quantas observações para cada espécies por ano?

Tabela interativa para consultar quantas observações foram realizadas para cada espécie em cada ano

dados1 |>  
  dplyr::count(ano, especie) |> 
  DT::datatable(filter = list(position = "top"))

1.4.2.11 Quantas observações para cada espécies por UC e por ano?

Tabela interativa para consultar quantas observações foram realizadas para cada espécie em cada ano

dados1 |>  
  dplyr::count(ano, ucs, especie) |> 
  DT::datatable(filter = list(position = "top"))

1.4.2.12 Quantas observações para cada espécies por UC, por estação e por ano?

dados1 |>  
  dplyr::count(ano, season, uc_name, sp) |> 
  DT::datatable(filter = list(position = "top"))

1.4.3 Selecionando melhores modelos de estudo considerando estratificação espacial/temporal – se há suficiência amostral (60-80 observações) por estrato

• Possíveis estratificações espaciais – EAs/UCs

                    - UCs/Espécies

  • Possíveis estratificações temporais – Espécie/UC/Ano

1.4.4 Avaliando distância de truncamento

• Gráficos de distribuição das frequências de ocorrência x distância perpendicular. Arquivos gráfico-exploratorio1.Rmd e gráfico-exploratorio2.Rmd (eu não sei como você fez para incluir aquela linha vermelha com o valor de w no gráfico exploratório 2, mas ficou legal)

1.4.5 Distribuição de distâncias

# carregar dados_filtrados.R da pasta data para o R
dados_filtrados <- readr::read_rds(corrigir_diretorio(corrige = "data/dados_filtrados.rds")) 

# gerar o gráfico exploratório da distribuição de distâncias perpendiculares para a espécies Dasyrocta croconota na Resex Tapajós-Arapiuns
fig <- dados_filtrados |>
  # excluir NA's da variável distance
  tidyr::drop_na(distance) |> 
  grafico_exploratorio3()

fig

1.4.6 avaliando covariáveis

– As covariáveis devem ser pensadas de acordo com o grupo taxonômico. Espécies que formam grupos devem ter a covariável ‘size’.

As estratégias de estratificação podem ser substituídas por covariáveis também (estratos espaciais/ ano)

Como covariável temporal, pode se pensar em usar, além do ano, a estação do ano (season), o horário do dia (para animais que variam a atividade). O horário do dia pode ser convertido em tempo após nascer do sol (como no exemplo). Mas para isso é necessário criar essa variável no dataset. E não é trivial porque precisa saber o horário de nascer do sol em cada dia/local para calcular.

1.4.7 gerar gráficos distância x covariável

Exemplo de Gráficos de Marques et al. 2007

1.5 PARTE V – Ajustando os modelos

Esse trabalho do Marque et al. 2007 é uma boa referência de como usar as abordagens CDS global, CDS estratificada e MCDS.

Aqui, é possível testar alguns caminhos de modelos. A estratificação só faz sentido quando o volume de dados for grande. Ainda assim o uso de covariáveis pode substituir a estratificação. Pensar em como orientar o uso dessas abordagens

1.5.1 Modelos pela abordagem CDS – dados globais

• função ds do Distance (argumentos básicos: truncation; key, adjustment, scale… estudar argumentos para ver se mais algum interessa)

1.5.2 Modelos pela abordagem CDS – dados estratificados

• Aqui precisa ver direitinho os cuidados que precisa ter para ajustar as funções nos dados estratificados. Acho que faz em blocos. Vai aplicando os mesmos parâmetros para todos os estratos a cada modelo.

• para cada estrato (espacial ou temporal) usar - função ds do Distance (argumentos básicos: truncation; key, adjustment, scale… estudar argumentos para ver se mais algum interessa)

1.5.3 Modelos pela abordagem MCDS – dados globais

Aqui não faz sentido estratificar

• função ds do Distance (argumentos básicos: truncation; key, adjustment, scale… estudar argumentos para ver se mais algum interessa… para as covariáveis entra o argumento formula)

Dicas em Miller et al. 2019 sobre covariáveis (ver arquivo no driver).

1.6 PARTE VI – Avaliando os modelos

1.6.1 Ajuste dos modelos

• função gof_ds

– para gerar Q-Q plots e testes associados

1.6.2 Selecionando modelos (AIC)

– função summarize_ds_models

DICAS EXTRAS DE MILLER et al. 2019

1.7 PARTE VII – PRODUTO FINAL

• Como organizar

• Interatividade

2 Criar expressões reativas

reactive() eventReactive()

observe() observeEvent()

reactiveVal() reactiveValues()

isolate()

• gerar o tal documento automatizado contendo todo esse fluxo mais os resultados das análises;

• tentar transformar isso num dashboard/aplicativo único integrando cada etapa dessa numa das abas do dashboard

• Pacote targets seria últil?

3 Glossário

• Effort - extensão total percorrida em metros no conjunto de dados seleciodo.